Metric	Score
Weighted-F1	9.45
Hyphens-F1	0.00
Comma-F1	26.63
Ellipsis-F1	0.00
Fullstop-F1	0.00
QMark-F1	0.00
Colon-F1	0.00
Excl-F1	0.00

Metric	Score
Weighted-F1	9.67
Hyphens-F1	0.00
Comma-F1	26.22
Ellipsis-F1	100.00
Fullstop-F1	0.00
QMark-F1	0.00
Colon-F1	0.00
Excl-F1	0.00

Metric	Score
Weighted-F1	9.90
Hyphens-F1	0.00
Comma-F1	27.14
Ellipsis-F1	100.00
Fullstop-F1	0.00
QMark-F1	0.00
Colon-F1	0.00
Excl-F1	0.00

Metric	Score
Weighted-F1	14.75
Hyphens-F1	0.00
Comma-F1	36.53
Ellipsis-F1	100.00
Fullstop-F1	0.00
QMark-F1	0.00
Colon-F1	0.00
Excl-F1	0.00

worst items

note: the gold standard is taken from the submission itself, not from the challenge data!

#	input	expected output	actual output	test-B Weighted-F1
1	wikitalks005743 boże widzisz takie hasło i nie grzmisz gdzie moderator taki tekst nie powinien się gdziekolwiek ukazywać jest straszny pod k…	O O O O O O B-QMARK O B-QMARK O O O O O O B-COMMA O O O O B-HYPHEN O O O B-COMMA O O O B-COMMA O O O O B-FULLSTOP B-XCL O B-QMARK O B-COMMA …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
2	wikinews225483 w domu kultury 502 w łodzi ul a sacharowa 16 na widzewie wschodzie od 23 października 1990 r działa widzewska galeria ekslibr…	O O O O O O B-FULLSTOP B-FULLSTOP O O O B-HYPHEN O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O B-COMMA B-FULLSTOP O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
3	wikinews182510 około godziny 11 00 w okolicy skrzyżowania ulic lisowskiej i żeromskiego w warszawie podczas prac remontowych doszło do uszko…	O O B-KOLON O O O O O O O O O O O O O O O O B-COMMA O O O O B-FULLSTOP O O B-COMMA O O B-HYPHEN O O O O O B-FULLSTOP O O O B-COMMA O O O B-C…	O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
4	wikinews232282 nasa ogłosiła konkurs " scientist for a day " skierowany do uczniów wszystkich typów szkół na całym świecie zadaniem konkurso…	O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O B-COMMA O B-COMMA O B-COMMA B-COMMA O O B-FULLSTOP O O O O B-COMMA O O B-COMMA O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
5	wikinews180419 w poniedziałek w kolonii w meczu 1 8 finału szwajcaria została wyeliminowana z turnieju przez ukrainę w konkursie rzutów karn…	O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O O O O O O O B-FULLSTOP O O O O O B-HYPHEN O O O O O O O O B-FU…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
6	wikinews188420 w dniach 9 12 lipca w bielawie w województwie dolnośląskim odbył się po raz jedenasty zlot miłośników literatury j r r tolkie…	O O B-HYPHEN O O O O O O O O O O O O O O O B-FULLSTOP B-FULLSTOP B-FULLSTOP B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O …	0.00
7	wikitalks0016538 polactwo zbiorem felietonów klisu właśnie toż to traktat polityczny sugeruję korektę mendel poprawiłem a j raz nie zerwał o…	O O B-HYPHEN O B-XCL O O O B-FULLSTOP O B-FULLSTOP O B-FULLSTOP B-FULLSTOP B-FULLSTOP O O O O O O O O B-HYPHEN O O O O O O B-HYPHEN O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
8	wikinews226727 zarząd dróg i transportu w łodzi przedstawił harmonogram prac przy przebudowie trasy w z inwestycji obejmującej nie tylko wbu…	O O O O O O O O O O O O B-HYPHEN O O O O O O O B-COMMA O O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O B-FULLSTOP O O B-FULLSTOP O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
9	wikinews186513 " poczuj się jak gwiazda " pod tym hasłem będzie przebiegał kolejny już dzień otwarty telewizji polskiej podczas spotkania z …	O O O O O B-HYPHEN O O O O O O O O O O B-FULLSTOP O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O O O O B-FULLSTOP O O O O O O O B-COMMA O O B…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
10	wikinews239126 o godzinie 12 06 04 czasu polskiego chiny wystrzeliły sondę księżycową chang'e 1 jest to pierwszy chiński statek kosmiczny wy…	O O B-KOLON B-KOLON O O O O O O O B-HYPHEN O O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O B-COMMA O O O O O O O O B…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
11	wikitalks0017075 ani słowa o zachowaniach agresywnych kiedy poziom nikotyny spada a potrafią one być skrajne znam również sytuacje kiedy już…	O O O O O O O O B-FULLSTOP O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O O O B-COMMA O O O O O O O O O O O O O B-QMARK O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
12	wikinews231413 między 15 a 18 lipca 2007 roku lech kaczyński wraz z małżonką odbył podróż do stanów zjednoczonych w pierwszym dniu wizyty ma…	O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O B-FULLSTOP O O O O B-KOLON O O O O B-HYPHEN O B-HYPHEN O O O O O B-FULL…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O …	0.00
13	wikitalks0016311 " armia pakistańska wymordowała w delcie gangesu ok 1 1 5 miliona cywilów i dopuściła się bezprecedensowo straszliwej liczb…	O O O O O O O B-FULLSTOP B-HYPHEN B-COMMA B-HYPHEN O O O O O O O O B-FULLSTOP O O B-HYPHEN O O O O B-QMARK O B-KOLON O O O O O O O O B-KOLON…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
14	wikinews232784 apelem o jak najszybsze sfinalizowanie rokowań prowadzonych w ramach negocjacyjnej rundy dauha zakończył się szczyt 21 państw…	O O O O O B-COMMA O O O O O B-COMMA O O O O O O O O O O B-FULLSTOP O O O O O O B-FULLSTOP O O O O O B-HYPHEN O O O B-COMMA O O O O O O O B-K…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
15	wikinews181800 na podlasiu rozpoczęły się przedterminowe wybory do sejmiku województwa razem z nimi odbywa się referendum w sprawie przebieg…	O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O B-COMMA O O O O O O O O O O B-HYPHEN O O O O B-HYPHEN O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
16	wikitalks003512 dlaczego data wejścia w życie konstytucji rózni się od tej podanej na stronie angielskiej wersji wikipedi xmikolajx poprawka…	O O O O O O O O O O O O O O O B-QMARK O O O O O O O O O B-KOLON O O O O O O B-COMMA O O O B-COMMA O O O O O O O B-COMMA O O O B-COMMA O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O B-…	0.00
17	wikitalks0016207 zbrojnik niebieski to ancistrus multispinis " bristlenose catfish " a ancistrus dolichopterus to l183 " starlight bristleno…	O O O O O O O O O O O O O B-COMMA O O O O B-KOLON O B-COMMA O O B-QMARK O O O B-FULLSTOP O O O O O O O O B-COMMA O B-FULLSTOP O O B-COMMA O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
18	wikinews228845 lech kaczyński i donald tusk uzyskaliby 24 % natomiast włodzimierz cimoszewicz 19 % głosów jeżeli wybory odbyły się w pierwsz…	O O O O O O O B-COMMA O O O O O B-COMMA O O O O O O O B-FULLSTOP O O O O O O B-HYPHEN O B-FULLSTOP O O B-HYPHEN O B-COMMA O B-HYPHEN O B-FUL…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
19	wikitalks002735 artykuł miesza tezy naukowe z tezami wyssanymi z palca oraz ew fiolozofii i religii nie mówiać przy tym która jest która nie…	O O O O O O O O O O B-FULLSTOP O O B-COMMA O O O O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O B-FULLSTOP B-FULLSTOP O B-KOLON O B-KOLON O O…	O O O O O O O O O O O O O O O O O B-COMMA O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
20	wikinews230002 dziś na biatlonowych trasach w cesana san sicarlo odbyły się męski oraz żeński bieg pościgowy wcześniej bo o 12 30 wystartowa…	O O O O O O O O O O O O O O B-FULLSTOP B-COMMA O O B-KOLON O O B-COMMA O O O B-KOLON O B-COMMA O O O O B-FULLSTOP O O O O O O O O B-FULLSTOP…	O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
21	wikinews239133 nasa ogłosiła w poniedziałek swoje plany dotyczące powrotu ludzi na księżyc głównym założeniem jest wysłanie czteroosobowej z…	O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O O O O O B-COMMA O O O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
22	wikitalks0016312 od kiedy death metal i black metal to odmiana heavy metalu od zgoła 20 lat 1 motorhead judas priest venom death death metal…	O O O O O O O O O O B-QMARK O O O B-FULLSTOP O B-COMMA O B-HYPHEN O B-HYPHEN O O O B-COMMA O B-HYPHEN B-COMMA B-HYPHEN O O O O O O O O O O O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O …	0.00
23	wikinews179014 w gdańsku zgodnie już z coroczną czerwcową tradycją odbył się wielki przejazd rowerowy ulicami miasta początek przejazdu ma m…	O O O O O B-COMMA O O O O O O O O B-FULLSTOP O O O O O O O O O O B-COMMA O O B-FULLSTOP B-COMMA O O O O O O O B-FULLSTOP O O O O O O O O B-F…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
24	wikinews189958 w minionym tygodniu rozpoczęła się w chinach budowa bloku elektrowni jądrowej ningde 4 na dwóch innych placach budowy reaktor…	O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O B-FULLSTOP O O O O O O B-HYPHEN …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
25	wikitalks004346 w odniesieniu do ich surowego życia może coś przeoczyłem ale nie widzę 'fantazyjności' nie szukając daleko finezyjne jak to …	O O O O O B-QMARK O O B-COMMA O O O B-FULLSTOP O O B-HYPHEN O O O B-QMARK O O O O O O O O B-XCL O O O O O O O O O B-COMMA O O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
26	wikinews229677 brytyjska policja aresztowała mężczyznę podejrzanego o dokonanie mordu na 5 prostytutkach na terenie miasta ipswich we wschod…	O O O O O O O O O O O O O O B-COMMA O O B-FULLSTOP B-HYPHEN O O B-COMMA O B-COMMA O O O O O O O O O O B-COMMA O O O B-COMMA O O O O O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	0.00
27	wikinews199816 hiszpan rafael nadal lider rankingu tenisistów pokonał niemca björna phaua 7 6 6 3 7 6 i awansował do drugiej rundy wielkoszl…	O O B-COMMA O O B-COMMA O O O O B-KOLON B-COMMA B-KOLON B-COMMA B-KOLON O O O O O O O O O B-COMMA O O O O O O O O O O B-FULLSTOP O O B-COMMA…	O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O …	2.03
28	wikinews188756 polskie siatkarki pokonały niemki 3 0 w małym finale mistrzostw europy 2009 i sięgnęły po brązowe medale niedoświadczonym prz…	O O O O B-KOLON O O O O O O O O O O O B-FULLSTOP O O O O B-COMMA O O O O O O O B-FULLSTOP O O O O B-COMMA O O O O B-HYPHEN O O O B-FULLSTOP …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	2.87
29	wikitalks005217 zgłoszenie zostało przeniesione z wikipedia zgłoś błąd w artykule ponieważ prawdopodobnie nie zostało rozwiązane w ciągu 45 …	O O O O B-KOLON O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O B-COMMA O O O B-QMARK O O O O O O B-COMMA O B-FULLSTOP B-KOLON O B-KOLO…	O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	3.02
30	wikitalks004052 a dlaczego dane są tylko do 2017 roku źródła przepraszam ja nie posiadam źródeł ale na początku winna być poprawka wzrost lu…	O O O O O O O B-QMARK O B-COMMA O O O O O O O O O B-HYPHEN O O O O O O O O B-FULLSTOP B-FULLSTOP O O B-FULLSTOP O O O O O O O B-COMMA O B-HY…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	3.42
31	wikitalks0012102 druga z pomorskich linii tym razem bardzo lokalna łącząca stolice dwóch powiatów problem jest z historią linii gdyż w zasad…	O O O B-COMMA O O O O O O O B-FULLSTOP O O O O B-COMMA O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O B-FULLSTOP O O O B-FULLSTOP O…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	3.59
32	wikinews196203 w dniach 4 8 lipca 2012 r w sercu parku krajobrazowego lasy janowskie odbędzie się festiwal muzyki tradycyjnej " na rozstajny…	O O B-HYPHEN O O O B-FULLSTOP O O O O O O O O O O O O O O O B-FULLSTOP O O O B-HYPHEN O B-HYPHEN O O O O O O O O O O O O O O O O O B-FULLSTO…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	4.15
33	wikitalks0016801 o co chodzi z tym " tramwaje w polsce " to może od razu ramka z " przejściami granicznymi w polsce " albo " puby w polsce "…	O O O O B-KOLON O O O O B-QMARK O O O O O O O O O O O B-COMMA O O O O O B-QMARK B-FULLSTOP B-FULLSTOP O O B-COMMA O O O O B-FULLSTOP O B-KOL…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	4.21
34	wikinews218360 na terenach wystawowych w pradze w dniach 13 16 maja 2010 r odbyły się targi książki svět knihy w tym roku gościem honorowym …	O O O O O O O B-HYPHEN O O O B-FULLSTOP O O O O O B-FULLSTOP O O O O O O O B-FULLSTOP O O O O O O O O O O O O O B-FULLSTOP O O O O O O O B-F…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	4.27
35	wikitalks007788 link do " archiwalna strona wp pl z 12 lutego 1998 roku " nie dzial w chwili testowania dostep 2006 05 31 teraz dziala herr …	O O O O O B-FULLSTOP O O O O O O O O O O O B-HYPHEN B-KOLON B-HYPHEN O B-HYPHEN O B-FULLSTOP O O O O O O O O O O O O O O B-FULLSTOP O O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O …	4.38
36	wikitalks001699 wnioskuję o usunięcie części pt " linki zewnętrzne " ponieważ po kliknięciu na link nie otwiera się żadna bibliografia bkwg …	O O O O B-FULLSTOP O O O B-COMMA O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O B-FULLSTOP…	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O …	4.40
37	wikinews188806 tygodnik gala już po raz siódmy ogłosił konkurs na najpiękniejszych polaków tych których podziwia się za mądrość osiągnięcia …	O O O O O O O O O O B-FULLSTOP B-COMMA O O O O B-COMMA B-COMMA O B-FULLSTOP O O O O O O O O O B-FULLSTOP O O O O O O O O B-HYPHEN O O O O O …	O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	4.63
38	wikinews229330 28 i 29 marca w zakopanem odbyły się zawody w slalomie kobiet i mężczyzn w ramach tradycyjnego memoriału bronisława czecha i …	O O O O O O O O O O O O O O O O O O O O O O B-FULLSTOP O O O O O O O O O O O O O O O B-COMMA B-COMMA B-COMMA B-COMMA O O O B-FULLSTOP O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	4.66
39	wikinews195555 w dniach 11 18 lipca 2010 w zagrodzie kurpiowskiej w kadzidle będzie miała miejsce letnia szkoła muzyki ludowej na kurpiach p…	O O B-HYPHEN O O O O O O O O O O O O O O O O B-FULLSTOP O O O B-KOLON O O B-COMMA O O O O O B-COMMA O O O O O B-COMMA O O O O O B-FULLSTOP O…	O O O O O O O O O O O O O O O O O O O O O O O O O O B-COMMA O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	4.67
40	wikinews221028 27 grudnia izrael w odpowiedzi na jednostronne wypowiedzenie przez hamas zawieszenia broni oraz ostrzał terytorium izraela ro…	O O B-COMMA O O O O O O O O B-COMMA O O O O O O O O O O O O O B-FULLSTOP O O O O O B-COMMA O O B-FULLSTOP O O O O B-COMMA O O B-COMMA O O O …	O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O O …	4.95